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Представлена методика оценки параллельности вариантов текущего теста по математике студентов всех факультетов Томского 
политехнического университета на основе математико-статистических методов. Проведен анализ результатов тестирования сту- 
дентов в 2004 г. и сделаны соответствующие выводы о параллельности вариантов теста. 


В современной системе образования независи- 
мая аттестация студентов является наиболее объек- 
тивной оценкой их знаний, потенциала их 
умственных возможностей. Проведение реформы 
образования и современная стратегия Томского 
политехнического университета (ТПУ), а именно - 
интеграция в международное образовательное 
пространство и его конкурентоспособность сдела- 
ло систему тестирования востребованной [1]. В 
связи с этим в Центре тестирования Томского по- 
литехнического университета разработана система 
независимой оценки качества знаний студентов по 
общеобразовательным дисциплинам. Контрольно- 
измерительные материалы по дисциплинам предс- 
тавлены в нескольких вариантах. Например, по ма- 
тематике, имеется двадцать один вариант тестовых 
заданий. Из этого вытекает проблема параллель- 
ности ("одинаковости") этих вариантов тестовых 


заданий, и, как следствие, качество оценки знаний 
студентов, и ее объективность. 

Таким образом, объектом исследования явля- 
ются студенты ТПУ, участвующие в процессе теку- 
щего контроля и оценки качества знаний по мате- 
матике, а предметом исследования обозначим ва- 
рианты тестовых заданий (в данном исследовании 
- тест по высшей математике). Всего в тестирова- 
нии принимали участие 1001 человек - студенты- 
первокурсники технических специальностей ТПУ. 

В табл. 1 приведены результаты первичной об- 
работки данных тестирования по двадцати одному 
варианту теста по математике. Оценка трудности 
каждого варианта <5 У проводилась по алгоритму, 
описанному в [2]. В работе использовалось разра- 
ботанное авторами программное обеспечение для 
оценки тестов Ьо§ііМос1еІ5 [3]. 
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Таблица 1. Результаты первичной обработки данных тести- 
рования 


Вариант 

теста 

Количество 

испытуемых 

Не 

справились 

с тестом 

Справились 
со всеми 

заданиями 

теста 

Трудность 

теста, 

В1 

49 

0 

0 

-0,01 

В2 

50 

0 

0 

-0,04 

ВЗ 

59 

0 

0 

0,12 

В4 

52 

0 

0 

0 

В5 

53 

1 

0 

0,22 

В6 

42 

0 

0 

0,15 

В7 

46 

0 

0 

0,04 

В8 

41 

2 

0 

0,23 

В9 

42 

1 

0 

0,06 

ВЮ 

48 

1 

0 

0,10 

В11 

50 

1 

0 

0,09 

В12 

38 

0 

0 

0,10 

В13 

45 

0 

0 

0,03 

В14 

48 

0 

0 

0,39 

ВТ5 

56 

2 

0 

0,11 

В16 

43 

0 

0 

-0,05 

ВТ7 

45 

1 

0 

0,24 

В18 

53 

0 

0 

0,02 

В19 

43 

0 

0 

0,38 

В20 

50 

0 

1 

-0,12 

В21 

48 

0 

0 

0,02 


На рис. 1 приведен график изменения труднос- 
ти вариантов теста по математике. 



Рис. 1. Г еометрический профиль трудности вариантов теста 
по математике. По оси абсцисс — номера вариантов 
теста; по оси ординат— логиты трудности 


Для оценки значимости разброса значений 
трудности вариантов теста был использован коэф- 
фициент вариации (1): 

Сѵ = ^г- 100%, (1) 

X 

где 5 Х - стандартное отклонение распределения 
трудности вариантов теста, х - среднее значение 
трудности вариантов теста. Различные признаки ха- 
рактеризуются различными коэффициентами ва- 
риации. Но в отношении одного и того же призна- 
ка значение этого показателя С ѵ остаётся более или 
менее устойчивым и при симметричных распреде- 
лениях обычно не превышает 50 %. При сильно 
асимметричных рядах распределения коэффициент 
вариации может достигать 100 % и даже выше. Для 
рассматриваемого теста коэффициент составит: 


5 Х 

Сѵ = *•' 100 % = (0,099/0,132) ТОО % = 134 %. 

X 

Варьирование считается значительным при С ѵ 
25 %, то есть изучаемая совокупность считается 
разнородной, следовательно, по трудности вариан- 
ты теста непараллельны. 

Оценка однородности вариантов 

Для оценки связи между результатами выполне- 
ния двух заданий теста или вариантов теста была ис- 
пользована формулу коэффициента корреляции (2): 

Л ■ ю 

\Рг<ІгРг‘І, 

где у,/ - номера заданий теста, р ]} - доля испытуе- 
мых, выполнивших правильно оба задания теста, 
т.е. доля тех, кто получил один балл по обоим зада- 
ниям; р і и р, - доля испытуемых, правильно выпол- 
нивших у-ое и /- ое задание; ^ и - доля испытуе- 
мых, неправильно выполнивших у-ое и /-ое зада- 
ние; ^= I -р/, д= 1 ~Р,- 

Матрица стандартизированных значений труд- 
ности заданий теста по вариантам приведена в 
табл. 2. 

Таблица 2. Стандартизированные значения трудности зада- 
ний теста Д по вариантам В ) 



А1 

/12 

АЗ 

А4 

/15 

Аб 

/17 

А8 

А9 

АЮ 

АЛ 

В1 

- 1,41 

- 1,53 

0,18 

0,38 

- 0,40 

- 0,21 

1,55 

0,18 

0,38 

0,71 

0,60 

В2 

- 1,32 

0,97 

- 1,57 

0,97 

0,62 

о 

00 

ио 

0 

- 0,69 

0 23 

0 23 

023 

ВЗ 

- 0,94 

- 1,18 

- 0,31 

- 0,31 

- 0,23 

- 0,39 

- 0,55 

1,54 

138 

2,14 

0,45 

В4 

- 1,58 

- 1,70 

0,36 

0,68 

0,36 

- 1,83 

0,26 

0,79 

0,26 

0,91 

2,27 

В5 

- 1,73 

- 1,07 

- 0,16 

- 0,25 

- 0,51 

- 0,25 

1,28 

- 0,07 

3,01 

0,30 

1,28 

Вб 

- 0,52 

- 1,65 

- 0,30 

- 0,30 

- 0,86 

0,15 

1,06 

0,04 

- 0,41 

2,32 

1,79 

В7 

- 0,88 

0,61 

0,03 

- 0,38 

- 0,38 

- 1,40 

- 0,18 

- 0,18 

1,81 

1,38 

0,61 

В8 

- 0,19 

0,58 

- 0,06 

0,44 

0,18 

-131 

0,31 

- 1,04 

1,80 

0,06 

1,02 

В9 

1,11 

0,29 

- 1,87 

- 0,57 

0,58 

0,43 

0,58 

- 1,36 

1,57 

- 0,22 

1,11 

ВЮ 

- 0,21 

- 0,01 

- 2,13 

- 0,88 

0,31 

0,31 

0,67 

0,54 

- 0,21 

1,44 

1,64 

В11 

0,12 

- 1,28 

- 0,64 

- 0,84 

1,63 

- 0,07 

0,52 

0,22 

0,32 

0,41 

032 

В12 

- 1,72 

- 1,40 

- 1,89 

1,18 

0,27 

137 

- 0,36 

0,69 

- 0,11 

0,27 

3,00 

В13 

- 0,40 

0,23 

- 0,40 

- 1,15 

0,34 

- 1,40 

0,23 

0,02 

2,07 

- 0,30 

1,43 

В14 

- 2,49 

- 1,75 

- 0,05 

0,77 

0,77 

- 0,76 

0,39 

- 0,15 

4,07 

0,39 

2,03 

В15 

- 2,18 

- 0,50 

0,14 

0,06 

- 0,42 

0,23 

0,81 

0,14 

гм 

о 

? 

1,64 

1,47 

В16 

1,07 

- 0,79 

0,60 

- 0,25 

0,33 

- 2,73 

0,90 

- 0,47 

0,46 

0,75 

0,90 

В17 

- 1,62 

2,60 

- 0,69 

- 0,49 

0,88 

- 1,09 

0,71 

0,05 

0,05 

1,49 

0,88 

В18 

0,86 

- 0,55 

0,16 

- 0,82 

0,75 

- 2,18 

0,16 

- 0,37 

0,25 

0,98 

1,37 

В19 

- 2,09 

- 1,46 

- 0,82 

- 0,22 

2,76 

- 1,19 

0,55 

- 0,10 

1,00 

3,30 

1,00 

В20 

- 2,14 

- 3,76 

0,40 

- 0,07 

1,03 

- 0,46 

1,39 

0,40 

0,12 

0,60 

0,50 

В21 

0,43 

- 1,34 

0,02 

1,05 

0,12 

- 0,64 

1,73 

- 1,02 

-036 

0,12 

0,54 


Значения коэффициента корреляции Спирмена 
между результатами по отдельным вариантам теста 
сводятся в матрицу (табл. 3). В табл. 3 выделены 
значения коэффициентов корреляции, уровень 
значимости р для которых меньше 0,05 (эти значе- 
ния коэффициентов корреляции оказались статис- 
тически значимыми на 5 % уровне. Все расчеты 
производились с использованием пакета 8іа1і$1іса 
6.0). Это означает, что для данных пар вариантов су- 
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Таблица 3. Матрица коэффициентов корреляции между вариантами теста 



1 ВІ 


1 вз | 

\Ч 

1 В5 | 

1 Вё | 

\В7. 

| В8 

1 В9 

1 вю 

ВП 

\В12 

| В13 

1 В14 

В15 

ВІб 

\В17 

ВН 

1 ВІ9 | 

В20 

1 В21 \ 

гл 

ИЗ 





















ЕЛ 






















ЕЛ 






















ЕЛ 


ІИ 




















ЕЛ 


ЕЮ 


ЕО 


















ЕЛ 

ЕСТ 

иа 

ЕД 

ЕД 

ЕСТ 

















В7 

1 0,42 | 

1 0,47 | 

1 0,47 | 

1 0,38 | 

0,63 

1 0,17 | 

1 1,00 | 















ЕЛ 

09 

шш 

КЛИЗ 

ШЕЯ 

ЕСТ 

ЕЮ 

ист 

ДЕЯ 














В 9 

0,04 

0,12 

-0,11 

-0,24 

0,19 

1 -0,12 | 

0,09 

0,45 

1,00 













вю 

0,46 

0,16 

0,37 

0,41 

0,42 

вст 

0,20 

0,02 

0,22 













В11 

0,48 

-0,07 

0,47 

0,34 

0,47 

0,34 

0,16 

0,10 

0,45 

ЕСТ 

ЕШ 











В12 

0,30 

0,33 

0,44 

0,41 

0,26 

0,50 

-0,14 

0,03 

0,06 

0,51 

0,15 

1,00 










В13 

0,20 

0,38 

0,30 

0,23 

0,49 

-0,12 

0,63 

■іМІ 

0,57 

0,37 

0,55 

-0,01 

1,00 









В14 

ЕСТ 

0,46 

0,58 

0,55 

ЕСТ 

0,24 

0,45 

ист 

0,32 

0,17 

0,49 

0,40 

0,58 

1,00 








В 15 

ЕШ 

-0,01 

0,49 

0,53 

0*57 

0,97 

0,26 

-0,07 

-0,19 

ЕСТ 

0,35 

0,48 

-0,04 

0,31 

1,00 







В1б 

0,43 

-0,22 

0,04 

0,30 

0,27 

0,28 

0,18 

0,18 

0,43 

0,20 

0,46 

-0,31 

0,24 

0,19 

ЕХЗ 

1,00 






В17 

0,20 

жшз 

0,24 

0,34 

0,22 

0,07 

ист 

0,53 

0,04 

0,56 

0,33 

0,10 

ист 

0,30 

0,22 

-0,04 

1,00 





В18 

0,30 

-0,01 

0,40 

0,50 

0,29 

0,23 

0,41 

0,26 

0,48 

0,42 

0,63 

-0,08 

0,52 

0,35 

0,18 

ЕШ 

0,30 

1,00 




В19 

ГУТ1 

0,33 

0,79 

ИІШ 

ЕСТ 

0,43 

0,49 

0,35 

0,17 

0,55 

ЕШ 

0,36 

0,56 

ЕШ 

0,51 

0,22 

0,56 

0,54 

1,00 



В 20 

ЕШ 

-0,06 

0,50 

0,57 

0,56 

0,51 

0,21 

0,09 

0,02 

0,56 

ЕСТ 

0,15 

0,40 

0,54 

0,59 

0,41 

0,38 

0,47 

ЕСТ 

1,00 


В21 

1 0,58 | 

0,07 

-0,06 

0,34 

0,20 

0,36 

-0,17 

0,24 

0,26 

0,15 

1 0,38 | 

0,11 

0,00 

0,40 

0,27 

0,70 

-0,08 

0,38 

1 0,26 1 

0,47 

1,00 


шествует сильная положительная связь, т.е. их мож- 
но считать параллельными. Однако, далеко не все 
варианты связаны такой связью. Это подтверждает 
вывод о непараллельное™ вариантов теста в целом. 

Определение параллельности 
на основе кластерного анализа 

Для определения однородных по трудности 
групп вариантов теста по математике был исполь- 
зован кластерный анализ (методы Варда и к-сред- 
них). Кластерный анализ предназначен для разби- 
ения множества объектов на заданное или неизве- 
стное число классов на основании некоторого ма- 
тематического критерия качества классификации 
(і сішіег (англ.) - гроздь, пучок, скопление, группа 
элементов, характеризуемых каким-либо общим 
свойством). Критерий качества классификации в 
той или иной мере отражает следующие нефор- 
мальные требования: 

1) внутри групп объекты должны быть тесно свя- 
заны между собой; 

2) объекты разных групп должны быть далеки друг 
от друга; 

3) при прочих равных условиях распределения 
объектов по группам должны быть равномер- 
ными. 

Требования 1 и 2 выражают стандартную кон- 
цепцию компактности классов разбиения; требо- 
вание 3 состоит в том, чтобы критерий не навязы- 
вал объединения отдельных групп объектов. 

Многие процедуры при кластеризации совер- 
шаются ступенчато. Это означает, что два наиболее 
близко расположенных объекта х, и х ] объединяют- 
ся и рассматриваются как один кластер. Это приво- 
дит к тому, что число объектов уменьшается и ста- 
новится равным п- 1, причем один кластер будет 
содержать два объекта, а остальные по одному. 
Процесс можно повторять до тех пор, пока все объ- 
екты не сгруппируются в один кластер. Наиболее 
подходящее разбиение выбирает чаще всего сам 
исследователь, которому предоставляется дендрог- 


рамма, отображающая результаты группирования 
объектов на всех шагах алгоритма кластеризации. 

Традиционно различают классификации иерар- 
хические и неиерархические (называемые иногда 
структурными). Соответственно можно разделить 
алгоритмы получения этих классификаций. 

Принцип работы иерархических алгоритмов 
состоит в последовательном объединении в клас- 
тер сначала самых близких, а затем и всё более от- 
далённых друг от друга элементов. Большинство из 
этих алгоритмов исходит из матрицы сходства (рас- 
стояний), и каждый отдельный элемент рассматри- 
вается вначале как отдельный кластер. Общая схе- 
ма такой иерархической группировки может быть 
представлена как повторяющееся приложение трех 
операций к мерам расстояния объект (кластер) - 
объект (кластер): 

1) найти наименьшее расстояние между объ- 
ектом (кластером) *5І и объектом (кластером) 

2) объединить »5І и 8 г в один кластер, присвоив об- 
щий индекс 

3 ) вычислить расстояние от кластера 5,1^, до 
любого другого объекта (кластера) 5. 

Результаты кластеризации вариантов теста по 

трудности представлены на рис. 2 в виде иерархи- 
ческой дендрограммы. Как видно из рис. 2, все ва- 
рианты теста можно разбить на три кластера. Для 
уточнения результата были проведена кластериза- 
ция по методу ^-средних. 


Метод Варда, евклидово расстояние 



Рис. 2. Иерархическая дендрограмма результатов кластери- 
зации 
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В табл. 4 представлен результат кластеризации 
по методу ^-средних (группировка вариантов теста 
по трудности). 

Таблица 4. Результат кластеризации по методу к-средних 


Кластер 1 В2 В7 В8 В9 В11 В13 В16 В17 В18 В21 

Расстояние 

до центра 0,70 0,62 0,46 0,85 0,74 0,59 0,75 0,98 0,62 0,86 

кластера 

Кластер 2 В1 ВЗ В6 ВІО В12 В15 

Расстояние 

до центра 0,60 0,74 0,54 0,69 0,91 0,47 

кластера 

Кластер 3 В4 В5 В14 В19 В20 

Расстояние 

до центра 0,69 0,75 0,82 0,96 0,84 

кластера 

Число искомых кластеров задавалось равным 3. 
В первом столбце табл. 5 приведен список пере- 
менных (заданий теста), далее идут суммы квадра- 
тов (55) и степени свободы (сі/), затем /-критерий 
Фишера и в последнем столбце - достигнутый уро- 
вень значимости р. 


Таблица 5. Результаты дисперсионного анализа 


Задания 

Сумма 

квадратов 

55 

Степень 

свободы 

сИ 

Сумма 

квадратов 

55 

Степень 

свободы 

сН 

Р- 

критерий 

Фишера 

Достигнутый 
уровень 
значимости р 

А1 

13,17 

2 

11,88 

18 

9,98 

0,00 

А2 

15,42 

2 

19,24 

18 

7,22 

0,00 

АЗ 

1,21 

2 

11,67 

18 

0,93 

0,41 

А4 

0,54 

2 

8,80 

18 

0,55 

0,59 

А5 

3,59 

2 

935 

18 

3,45 

0,05 

А6 

736 

2 

11,17 

18 

5,93 

0,01 

АЗ 

0,27 

2 

7,14 

18 

034 

0,71 

А8 

4,09 

2 

4,78 

18 

7,71 

0,00 

А9 

бзз 

2 

21,23 

18 

2,68 

0,10 

АІО 

3,11 

2 

13,06 

18 

2,14 

0,15 

АП 

1,70 

2 

7,54 

18 

2,02 

0,16 


Табл. 5 дисперсионного анализа результатов клас- 
теризации на три кластера показывает необходимость 
отклонения нулевой гипотезы о равенстве групповых 
средних по 5 заданиям из 1 1 (для которых достигну- 
тый уровень значимости оказался более 5 %). 

Ниже приведен график (рис. 3) средних значений 
всех переменных по отдельным кластерам. В табл. 6 
приведены соответствующие числовые значения. 



Рис. 3. Г оафики средних значений каждого кластера по пе- 
ременным (заданиям) 


Таблица 6. Средние значения переменных в каждом кластере 


Переменные 

Значение центроидов 

Кластер 1 

Кластер 2 

Кластер 3 

А1 

-0,08 

-1,16 

-2,01 

А2 

0,13 

-1,05 

-1,95 

АЗ 

-0,44 

-0,72 

-0,05 

А4 

-0,20 

0,02 

0,18 

А5 

0,51 

-0,22 

0,88 

А6 

-1,13 

0,24 

-0,90 

А7 

0,50 

0,53 

0,77 

А8 

-0,48 

0,52 

0,17 

А9 

0,87 

0,17 

1,69 

АЮ 

0,54 

1,42 

1,10 

А11 

0,89 

1,49 

1,42 


Результат проведения кластерного анализа ука- 
зал на различие (непараллельность) вариантов тес- 
та по математике. Сравнивая средние значения 
трудности каждого кластера по заданиям, следует 
отметить, что задания 41, 42, 44, 45, 46 и 48 наибо- 
лее разнородны, что хорошо видно и на графике 
средних значений трудности каждого кластера. 

Таким образом, кластерный анализ определил 
три кластера, где внутри каждого кластера вариан- 
ты являются параллельными, а между собой эти 
группы по трудности непараллельны. Рекоменду- 
ется ввести две различные системы шкалирования 
результатов тестирования по математике для двух 
кластеров. 

В результате проведенных исследований авто- 
рами статьи разработана методика оценки парал- 
лельности вариантов теста, которая включает в се- 
бя следующие этапы: 

1 . Расчет стандартных значений уровня трудности 
заданий по двадцати одному вариантам с ис- 
пользованием специализированного програм- 
много обеспечения 1ю§ііМос1еІ8 [3, 4]; 

2. Систематизацию результатов стандартных зна- 
чений уровня трудности в виде матриц средних 
значений уровня трудности по заданиям тестов 
или по вариантам теста; 

3. Проверку параллельности вариантов теста по 
критериям: 

- коэффициент вариации средних стандарт- 
ных значений уровня трудности вариан- 
тов, где сравнительным критерием являет- 
ся значение коэффициента вариации 
(должно быть С ѵ < 25 %); 

- корреляционный анализ средних станда- 
ртных значений уровня трудности заданий 
и средних стандартных значений уровня 
трудности вариантов, где сравнительным 
критерием является коэффициент корре- 
ляции (должен быть /}— >1), что говорит о 
сильной положительной связи вариантов; 

- кластерный анализ (должна быть одна 
группа вариантов). 

4. Вывод о параллельности. 

Структурная схема разработанной методики 
представлена на рис. 4. 
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Рис. 4. Структурная схема разработанной методики оценки параллельности вариантов теста 

Проверка параллельности вариантов по критери- зала, что все три критерия указывают на принятие ну- 
ям, рассчитываемым в разработанной методике, пока- левой гипотезы о непараллельности вариантов теста. 

Работа частично поддержана РФФИ (проект № 03-06-80128 


СПИСОК ЛИТЕРАТУРЫ 

1. Берестнева О.Г., Иванкина Л. И., Марухина О.В., Пермя- 
ков О.Е. Концепция качества образования в техническом вузе 
// Качество образования: системы управления, достижения, 
проблемы: Матер. V Междунар. научно-метод. конф. — Ново- 
сибирск: Изд-во НГТУ, 2003. -Т. 1. - С. 64-68. 

2. Челышкова М.Б. Теория и практика конструирования педаго- 
гических тестов: Учебное пособие. — М.: Логос, 2002. —432 с. 

3. Марухина О.В. Алгоритмы обработки информации в задачах 
оценивания качества обучения студентов вуза на основе экспе- 


ртно-статистических методов: Дис. ... канд. техн. наук: 
05.13.01. -Томск, 2003. - 165 с. 

4. Берестнева О.Г., Марухина О.В. Методы многомерного анали- 
за данных в задачах оценки качества образования // Радиоэле- 
ктроника. Информатика. Управление. — 2002. — № 1. — 
С. 15-26. 

5. Нейман Ю.М., Хлебников В.А. Введение в теорию моделиро- 
вания и параметризации педагогических тестов. — М.: Проме- 
тей, 2000. — 168 с. 


165 










